[レポート] Modernize your data warehouse by moving to Amazon Redshiftに参加しました #AWSreInvent #ANT345

はじめに

データ事業本部のkobayashiです。ラスベガスで開催されていたre:Invent2024に現地参加しました。
本記事は AWS re:Invent 2024 のセッション「ANT345 | Modernize your data warehouse by moving to Amazon Redshift」のセッションレポートです。

このセッションでは、End-to-Endのデータ戦略において低コストで大規模な分析・機械学習アプリケーションとしてAWS考えているRedshiftへの移行と実際にRedshiftへに移行を行った結果コストとパフォーマンスが向上した事例紹介が行われました。

セッションの概要

タイトル

ANT345 | Modernize your data warehouse by moving to Amazon Redshift

概要

Are you spending too much time on data warehouse management tasks like hardware provisioning, software patching, and performance tuning and not enough time building your applications and innovating with data? Tens of thousands of AWS customers rely on Amazon Redshift every day to run and scale analytics in seconds on all their data without managing data warehouse infrastructure. In this session, hear from AWS customers who share their journeys moving to a modern cloud data warehouse and analytics with Amazon Redshift. Learn best practices for building powerful analytics and machine learning applications and operating at scale while keeping costs low.

• Level: 300
• Session Type: Breakout session

スピーカー

• Ravi Tadysetty, Vice President, ADP
• Raza Hafeez, Senior Product Manager, Amazon Web Services
• Sebastian Herold, Senior Principal Data Engineer, Zalando SE

内容

はじめに「AWS Analytics and Amazon Sagemaker」としてデータ取り込み、処理、分析を含むAWS分析のエンドツーエンドデータ戦略について説明がありました。
その中で強調されていたのがデータ分析とAIを統合し、より素早いビジネス展開それに対応するソリューション構築を可能にするための手段として次世代のSageMakerを紹介されていました。

新しいSagemakerプラットフォームは、サイロを減らし、安全で管理されたデータアクセスを保証し、Amazon Redshiftは、大規模なデータ分析をサポートする最もパフォーマンスの高いSQLエンジンとして紹介されました。

次に Amazon Redshiftの主要なイノベーションを概説しマルチウェアハウスアーキテクチャとデータ共有を説明されました。
その中でParquetやApache Icebergなどの分析向け最適化フォーマットでデータを保存することの利点とRedshiftへのZero-ETLや自動コピーなどの機能は、データ取り込みと分析を簡素化するための機能として特に強調されていました。
また、 Amazon RedshiftのジェネレーティブAIとの統合（Amazon BedrockとAmazon Queueを含む）は、データクエリと分析を強化することも強調されていました。

Amazon Redshiftへの移行例としてHiltonとEchoStarが紹介されました。
Hiltonの例は複数のプロパティからデータを統合して分析するためにAmazon Redshiftに移行したもので、
このアーキテクチャにより、ビジネス要件のSLAを満たし、22,000人のアクティブユーザーにスケールアップできたとのことでした。

衛星テレビプロバイダーのEchoStarは、Amazon Redshiftを使用してデータ取り込みの遅延を数日から数秒に短縮し、 新しいアーキテクチャにより、ターゲット広告が可能になり様々なチャンスが生まれたとこのことでした。

ジェネレーティブAIチャットボット使用例も紹介されました。
紹介されたアーキテクチャでは、保存されたデータに基づいてパーソナライズされた旅行推奨を生成するためにユーザー入力を使用します。 その中でAmazon Redshiftが複雑なクエリを処理し、リアルタイムの洞察を提供できるとのことです。この例ではデータウェアハウジングとジェネレーティブAIを統合して顧客体験を強化できると話されていました。

Zalando社のSebastianにスピーカーが変わり、ヨーロッパの主要な多ブランドファッション小売業者であるZalandoとそのデータ駆動型の運営を紹介されました。
Zalandoのデータメッシュプラットフォームには、データ製品、分散ドメイン、計算ガバナンス、セルフサービスプラットフォームが含まれていますが、 現在のデータアーキテクチャに課題を抱えており、スケーリングの問題や非効率なデータ読み込みがありました。
そこで、パフォーマンス、スケーラビリティ、コスト効率を向上させるためにAmazon Redshiftへの移行を決定しましたとのことでした。

移行戦略としては、データシェアを介して接続されたプロデューサーとコンシューマーインスタンスを設定する移行戦略を取ったそうです。

この移行の結果、パフォーマンステストにより多くのクエリがAmazon Redshift上でより高速に実行されるようになり、新しいアーキテクチャにより動的スケーリングとより良いリソース管理が可能になったとのことです。
これらの成功から今後Zalandoは、Lake Formationを使用して中央データアクセスを行い、既存のクラスターを中央インフラストラクチャに接続する予定だそうです。

最後にADP社のRaviにスピーカが変わり、グローバルな人的資本管理ソリューションを提供しているADPのADP Analyticsというデータ分析提供について紹介していました。
ADPは、オンプレミスのデータウェアハウスでスケーリングとパフォーマンスの課題に直面していましたが、スケーラビリティとパフォーマンス性能の観点からAmazon Redshiftを選んだそうです。
移行には、オンプレミスシステムからS3へのデータの複製、データの変換、Redshiftへの読み込みがあり、マルチテナンシーのために行レベルセキュリティとセッションコンテキスト変数を実装したそうです。

移行により、データベースフットプリントが削減され、サポート効率が向上し、コストが削減され他とのことです。 今後ADPは、クラウドでのソリューションをさらに最適化する計画を持ち、Redshift Serverlessとクロスリージョンレプリケーションを計画しているそうです。

まとめ

「ANT345 | Modernize your data warehouse by moving to Amazon Redshift」のセッションレポートをお届けしました。

最後まで読んで頂いてありがとうございました。